ขณะเดินทางกลับจากอะเลปโปไปยังดามัสกัส หรืออาจกลับไปที่คฤหาสน์ Khunasira ของพระองค์ อุมัรกลับทรงพระประชวร[6] พระองค์สวรรคตในช่วงวันที่ 5 กุมภาพันธ์ถึง 10 กุมภาพันธ์ ค.ศ. 720[6] ขณะมีพระชนมพรรษา 37 พรรษา[7] ที่หมู่บ้าน Dayr Sim'an (มีอีกชื่อว่า Dayr al-Naqira) ใกล้มะอะเราะตุนนัวะอ์มาน[6] อุมัรได้ซื้อที่ดินด้วยเงินของพระองค์เองและฝังในหมู่บ้านนั้น โดยซากสุสานที่ไม่ทราบวันก่อสร้างของพระองค์ยังคงปรากฏให้เห็นอยู่[6] ยะซีดที่ 2 ขึ้นครองราชย์ถัดจากอุมัรที่ 2[8]

ณ วันที่ 26 พฤษภาคม ค.ศ. 2020 ในช่วงสงครามกลางเมืองซีเรีย มีรายงานกองกำลังอาสาสมัครที่หนุนโดยอิหร่านเข้าจู่โจมสุสานของอุมัร ตามภาพวิดีโอที่เผยแพร่ในหน้าเพจที่สนับสนุนรัฐบาลซีเรียบนสื่อสังคม[9] ส่วนอีกวิดีโอหนึ่งแสดงภาพสุสานที่ถูกเปิดและไม่มีศพข้างใน ไม่มีข้อมูลว่าส่วนหลงเหลือที่อยู่ข้างในนั้นถูกย้ายไปไว้ที่ไหน[10]